南大和中大“合体”拯救手残党：基于GAN的PI-REC重构网络，“老婆”画作有救了 | 技术头条
「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑
编译 | 一一
出品 | AI科技大本营（ID:rgznai100）
对于喜欢画画的你来说，总是画得七零八落，不堪入目，但现在，有一种方法可以让你像专业人士那样，让你的糟糕画作变成一副完美的作品。
南京大学和中山大学的三位研究人员发布的最新论文中，提出了一种具有边缘和色域的渐进式图像重构网络 PI-REC，这是一种基于 GAN 的渐进式训练方法，它能从超二值稀疏边缘以及色块中还原重构真实图像，最终“合成”一张高精度图像，当然它并非自动绘画。
总之，你们画的半成品“老婆”们的美貌有救了。
论文链接：https://arxiv.org/abs/1903.10146
研究者介绍说，PI-REC 项目属于图像重构、图像转化、条件图像生成以及 AI 自动绘画等前沿交叉领域的最新产出，而非简单的以图搜图等，它主要有以下三种功能：
图(a): 超稀疏输入信息重建原图。PI-REC 方法能够从提取的稀疏边缘和平面色域中重构逼真图像。
图 (b): 手绘草图转换。PI-REC 方法可以在手绘草图的基础上合成准确和微调图像。
图 (c): 用户自定义的边缘到图像（edge-to-image，E2I) 转化。用户可以将自定义和像素级的样式图像注入 PI-REC 模型以获得准确输出。
当然，用相似内容进行 I2I 转化也没问题。
近年来，在图像到图像（I2I）转化领域，Pix2Pix 等方法可以从稀疏二值边缘图中合成逼真图像，并根据条件生成对抗网络（cGAN）部署循环框架。不过，在边缘到图像（E2I）转化领域无法生成高保真图片。于是研究者开始考虑解决稀疏输入和可控样式空间的矛盾。
在 S2I 合成、I2I 转化、IR（图像识别）等领域使用的主要方法功能比较，PI-REC 具有更多的功能。†表示输入的各种特性，*表示输出质量。
受绘画过程的启发，基于生成对抗网络的 PI-REC 由三个阶段组成：旨在初始化网络的模拟阶段（Imitation Phase），然后是以重构初步图像的生成阶段（Generating Phase）以及用于将初步图像微调到具有最终细节输出的精细化阶段（Refinement Phase）。该框架允许他们的模型从稀疏输入信息中生成丰富的高频细节。
值得一提的是，这三大阶段都只用了一个生成器和一个判别器。训练期间，在同一个生成器上利用渐进式策略可以减少时间和 RAM 内存成本。
研究者还探讨了从图像中隐式分解样式潜在空间的缺陷，并证明了模型中的显式色域为什么在可控性和可解释性方面表现更好。在实验中，他们在重构真实图像和将手绘草稿转化为令人满意的绘画作品方面取得了出色的成果。此外，在边缘到图像转换领域，他们的模型 PI-REC 在定量和定性方面评估真实性和准确性方面是最好的方法。
以下为论文中的部分实验图表数据：
（a）不同稀疏级别输入结果。由于训练时的 HC（超参数混淆）操作，本文的模型对用于测试的特定超参数不敏感。（b）对比有 HC 操作和无 HC 操作的输出结果。当在训练中应用 HC 操作时，研究者可以在局部细节上获得更好的质量，而且能从非常稀疏的内容或样式中获得不错的输出。
手绘草图转化。上层表示手绘草图与已编辑边缘和色域相结合，下层表示输出，它们对手绘图输入的微小变化会做出敏捷响应。
定性比较 PI-REC 与基线的结果。对于 MUNIT 和 BicycleGAN，研究者分别将真实图像和颜色域作为样式输入，以便得到最好的重构输出。显然，经过精细化调整的 PI-REC 模型可以更准确地重构内容和颜色细节。
总体而言，该论文的研究者提出了一种用于图像重构任务的新型渐进性模型 PI-REC。当只取超稀疏二值边缘和平面色域的输入时，能实现精细化和高质量的重构输出。输入的稀疏性和可解释性保证了用户对图像内容或风格的自由、准确控制，这是对现有作品的重大改进。
该方法在 E2I 任务的标准基准测试中取得了较好的成绩。同时，他们利用参数混淆操作（HC），在手绘图纸转换任务中取得了显著的效果，从而推动了自动绘制技术的发展。如果两个领域的内容相似，该方法也可以有条件地应用于 I2I 转换任务中。
GitHub链接：https://github.com/youyuge34/PI-REC
PI-REC 安装
基础环境
Python 3+
PyTorch 1.0（0.4不支持）
NVIDIA GPU + CUDA cuDNN
第三方库安装
复制这个 repo
从 http://pytorch.org 安装PyTorch和依赖项
安装python要求：
pip install -r requirements.txt
运行使用
提供以下两种方式运行：
命令基础行模式用来批处理测试整个文件夹数的图片
绘画 GUI 模式工具用来实现交互式创作
（本文为 AI大本营编译文章，转载请微信联系 1092722531）
◆
福利
◆
CSDN本周发起Python狂欢福利群！不仅汇聚你身边的Python人，一起交流成长，入群还有机会获四重福利：
1、抽取锦鲤送门票！价值699元「2019 Python开发者日」门票，抽取幸运用户送出。
2、送下载！50次CSDN下载权益每天抽。
3、送好课！人工智能、大数据、Web等热门好课连送七天。
4、送好书！每天抽送好评纸质书，一起成长吧！
推荐阅读：
❤点击“阅读原文”，了解「2019 Python开发者日」